Demystifying Hidden-State Recurrence: Switchable Latent Reasoning with On-Policy Reinforcement Learning
揭秘隐藏状态递归：基于在线策略强化学习的可切换潜在推理
🧭 LLM推理 · 潜在CoT与强化学习 ★ 深度解读
HKUST(GZ) · University of Cambridge · NTU · JoinQuant · HKUST
提出Switch，通过<swi>/</swi>边界标记使隐藏状态递归潜在推理兼容GRPO，实现高效、可解释的推理
📌 工作参考价值（4 点）
- 构建电商对话 agent 或推荐解释生成模型时，可引入 <swi>/</swi> 开关机制：模型在需要可读性的阶段生成显式文本，而在计算密集或简单步骤自动切换为隐藏状态递归，压缩推理 token 成本，平衡可解释性与效率。
- GRPO 训练潜在推理的范式可直接迁移到 RL-based 推荐 Agent 优化：将潜在步骤视为隐式“思考”，通过奖励函数（正确性+格式+潜在使用+长度）端到端学习何时压缩推理，实现自适应计算。
- 论文中的机械解释性分析工具（probe、logit lens、因果干预）可用来诊断业务 Agent 中的推理行为：确认模型是否真正在“思考”还是空转，确保潜在步骤携带任务相关信号。
- 分段梯度反向传播技巧（按<swi>/</swi>切分 rollout，文本段反向传播，潜在段 no_grad）显著降低 RL 训练内存，对长轨迹强化学习（如多轮对话推荐）的工程实现有直接参考价值。